第5章 信源编码
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
第5章 信源编码
信源编码的目的是提高传输有效性,压缩冗余消息,提高编码效率。
冗余原因是信源符号之间存在相关性和概率分布不均匀。
所以,信源压缩编码的基本途径有两个:
使序列中的各个符号尽可能地互相独立,即解除相关性;
使编码后各个符号出现的概率尽可能地相等,即概率均匀化。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
信源编码的作用可归纳为:
(1) 符号变换:使信源的输出符号与信道的输入符号相匹配;
(2)信息匹配:使信息传输率达到信道容量;
(3) 冗余度压缩:使编码效率等于或接近100%。
第5章 信源编码
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
第5章 信源编码
信源编码的基础是信息论中的两个编码定理:
无失真编码定理
限失真编码定理
无失真编码可精确复制信源输出的消息,只适用于离散信源
对于连续信源,只能在失真受限制的情况下进行限失真编码
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
第5章 信源编码
本章讨论离散信源编码,首先从无失真编码定理出发,重点讨论以香农码、费诺码和霍夫曼码为代表的最佳无失真码。然后介绍了限失真编码定理。最后简单介绍了一些其它常用的信源编码方法。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
5.1 编码的概念
信源
编码器
信道
码表
图5-1 信源编码器示意图
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
5.1 编码的概念
将信源消息分成若干组,即符号序列xi,
xi=(xi1xi2…xil…xiL),
xilA={a1,a2,…,ai,…,an}
每个符号序列xi依照固定码表映射成一个码字yi,
yi=(yi1yi2…yil…yiL),
yilB={b1,b2,…,bi,…,bm}
这样的码称为分组码,有时也叫块码。只有分组码才有对应的码表,而非分组码中则不存在码表。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
5.1 编码的概念
如图5-1所示,如果信源输出符号序列长度L=1,信源符号集A(a1,a2,…,an)
信源概率空间为
若将信源X通过二元信道传输,就必须把信源符号ai变换成由0,1符号组成的码符号序列,这个过程就是信源编码 。
如果L=2,码表多大?
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
5.1 编码的概念
码可分为两类:
一、固定长度的码,码中所有码字的长度 都相同,如表5-1中的码1就是定长码
二、可变长度码,码中的码字长短不一,如表中码2就是变长码。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
5.1 编码的概念
不同的码符号序列,如表5-1所示。
表5-1 变长码与定长码
信源符号ai 信源符号出现概率p(ai) 码表
码1 码2
a1 p(a1) 00 0
a2 p(a2) 01 01
a3 p(a3) 10 001
a4 p(a4) 11 111
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
5.1 编码的概念
(1)奇异码和非奇异码
若信源符号和码字是一一对应的,则该码为非奇异码。反之为奇异码。
如表5-2中的码1是奇异码,码2是非奇异码。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
5.1 编码的概念
(2)唯一可译码
任意有限长的码元序列,只能被唯一地分割成一个个的码字,便称为唯一可译码
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
5.1 编码的概念
唯一可译码中又分为非即时码和即时码:如果接收端收到一个完整的码字后,不能立即译码,还需等下一个码字开始接收后才能判断是否可以译码,这样的码叫做非即时码。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
5.1 编码的概念
即时码:只要收到符号就表示该码字已完整,可以立即译码。
即时码又称为非延长码,任意一个码字都不是其它码字的前缀部分,有时叫做异前缀码。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
信源符号ai 符号出现概率p(ai) 码1 码2 码3 码4
a1 1/2 0 0 1 1
a2 1/4 11 10 10 01
a3 1/8 00 00 100 001
a4 1/8 11 01 1000 0001
码
奇异码
非分组码
分组码
非奇异码
非唯一可译码
非即时码
即时码(非延长码)
唯一可译码
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
5.1 编码的概念
通常可用码树来表示各码字的构成
二进制码树
0 1
0 1
0 1
0 1 0 1 0 1 0 1
0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
5.1 编码的概念
0 1 2
0 1 2 0 1 2 0 1 2
0 1 2
0 1 2
三进制码树
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
码树与码字对应关系图
树根
树枝数
节点
终端节点
节数
非满树
满树
码字的起点
码的进制数
码字或码字的一部分
码字
码长
变长码
等长码
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
5.1 编码的概念
唯一可译码存在的充分和必要条件
各码字的长度Ki 应符合克劳夫特不等式:
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
5.1 编码的概念
例:设二进制码树中X (a1, a2 , a3 , a4 ),K1=1,K2=2,K3=2,K4=3,应用上述判断定理:
因此不存在满足这种Ki的唯一可译码。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
5.1 编码的概念
{0,10,110,111} 惟一可译码;
{0,10,010,111}
不是惟一可译码;
均满足克劳夫特不等式
K1=1,K2=2,K3=3,K4=3
1 0
1 0
1 0
a2=10
a3=110
a4=111
a1=0
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
5.1 编码的概念
克劳夫特不等式只是用来说明唯一可译码是否存在,并不能作为唯一可译码的判据。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
X=(X1X2…Xl…XL)
Xl{a1,a2,…,ai,…,an}
nL种
用Y表示L长的信源序列X,则送出一个信源符号所需要的信息率平均为
编码目的:使 最小
信源
编码器
Yk{b1,b2,…,bj,…,bm}
M=mKL种
KL log m
5.2 无失真信源编码定理
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
5.2 无失真信源编码定理
无失真信源编码定理研究的内容:
最小信息率为多少时,才能得到无失真的译码?
若小于这个信息率是否还能无失真地译码?
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
5.2 无失真信源编码定理
无失真的信源编码定理
定长编码定理
变长编码定理
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
无记忆平稳信源平均符号熵为HL(X), 只要
则当L足够大时,必可使译码差错足够小;
反之,当 时,译码差错一定是有限值,而L足够大时,译码几乎必定出错。
5.2.1 定长编码定理
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
码字所能携带的信息量大于信源序列输出的信息量,则可以使传输几乎无失真,当然条件是L足够大。
反之,当 时,不可能构成无失真的编码,也就是不可能做一种编码器,能使收端译码时差错概率趋于零。
当 时,则为临界状态,可能无失真,也可能有失真。
定长编码定理说明
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
例:信源输出8种符号,
L=1,等概率时,H1(X)=log2 8=3比特/符号,可用3比特的信息率进行无失真的编码。
p(ai)={0.4,0.18,0.1,0.1,0.07,0.06,0.05,0.04},则此时H1(X)=2.55比特/符号,22.55=5.856
当L足够大,没有对应码字的符号序列发生的概率变得很小,使得差错概率达到足够小。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
式中 为自信息方差
为一正数。当 和 均为定值时,只要L足够大,Pe可以小于任一正数。即,
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
当信源序列长度L满足 时,
能达到差错率要求
在连续信源的情况下,由于信源的信息量趋于无限,显然不能用离散符号序列Y来完成无失真编码,而只能进行限失真编码。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
定义
为编码效率,即信源的平均符号熵为H(X),采用平均符号码长为 来编码,所得的效率。
编码效率总是小于1,且最佳编码效率为
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
编码定理从理论上阐明了编码效率接近1的理想编码器的存在性,它使输出符号的信息率与信源熵之比接近于1,即
L取无限长
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
例5-2 设离散无记忆信源概率空间为
比特/符号
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
对信源符号采用定长二元编码,要求编码效率为 90%,若取L=1,则可算出
=2.55 90%=2.8比特/符号
Pe=0.04 太大
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
若要求译码错误概率
当L有限时,要做到高编码效率、低错误率,对于定长编码来说是不可能做到的。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
平均码长:
根据信源各个符号的统计特性,如概率大的符号用短码,概率小的用较长的码,使得编码后平均码长降低,从而提高编码效率。(统计匹配)
5.2.2变长编码定理
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
单个符号变长编码定理:若离散无记忆信源的符号熵为H(X),每个信源符号用m进制码元进行变长编码,一定存在一种无失真编码方法,其码字平均长度满足下列不等式
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
离散平稳无记忆序列变长编码定理:对于平均符号熵为HL(X)的离散平稳无记忆信源,必存在一种无失真编码方法,使平均信息率满足不等式
其中为任意小正数。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
用变长编码来达到相当高的编码效率,一般所要求的符号长度L可以比定长编码小得多。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
编码效率总是小于1,可以用它来衡量各种编码方法的优劣。
为了衡量各种编码方法与最佳码的差距,定义码的剩余度为
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
例5.3设离散无记忆信源的概率空间为
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
编码效率为
输出的信息效率为
R=0.811比特/二元码符号
续例5.3
若L=1,用二元定长编码(0,1)来构造一个即时码: 。
平均码长 =1二元码符号/信源符号
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
当L=2的信源序列进行变长编码(编码方法后面介绍),其即时码如下表
续例5.3
xi p(xi) 即时码
a1a1 9/16 0
a1a2 3/16 10
a2a1 3/16 110
a2a2 1/16 111
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
二元码符号/信源序列
二元码符号/信源符号
编码效率
信息效率 R2=0.961比特/二元码符号
续例5.3
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
L=3
R3=0.985比特/二元码符号
L=4
R4=0.991比特/二元码符号
续例5.3
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
定长二元码编码,要求编码效率达到96%时,允许译码错误概率
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
香农(Shannon)编码
将信源消息符号按其出现的概率大小依次排列
确定满足下列不等式的整数码长Ki。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
为了编成唯一可译码,计算第i个消息的累加概率
将累加概率Pi变换成二进制数。
取Pi二进数的小数点后Ki位即为该消息符号的二进制码字。
香农(Shannon)编码方法
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
例 5.4 设信源共7个符号消息
香农(Shannon)编码方法
信源消息符号ai 符号概率p(ai) 累加概率Pi -log p(ai) 码字长度Ki 码字
a1 0.20 0 2.32 3 000
a2 0.19 0.2 2.39 3 001
a3 0.18 0.39 2.47 3 011
a4 0.17 0.57 2.56 3 100
a5 0.15 0.74 2.74 3 101
a6 0.10 0.89 3.32 4 1110
a7 0.01 0.99 6.64 7 1111110
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
码元/符号
比特/码元
香农(Shannon)编码方法
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
5.3 限失真信源编码定理
信息率失真函数给出了失真小于D时所必须具有的最小信息率R(D);
只要信息率大于R(D),一定可以找到一种编码,使译码后的失真小于D。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
5.3 限失真信源编码定理
限失真信源编码定理:
当R>R(D),只要L足够长,一定存在一种编码方法,其译码失真小于或等于D+,为任意小的正数。
反之,若R
=
+
+
+
=
–
–
–
–
=
–
å
i
K
i
Î
1
2
2
2
2
2
3
3
2
1
4
1
=
+
+
+
=
–
–
–
–
=
–
å
i
K
i
12
()
L
kK
YYYY
=
Y
LL
M
L
m
L
K
K
L
log
1
log
=
=
K
e
+
³
)
(
log
X
L
L
H
m
L
K
e
2
)
(
log
–
£
X
L
L
H
m
L
K
K
)
(
)
(
log
X
X
H
LH
m
K
L
L
=
>
)
(
X
L
H
K
<
)
(
X
L
H
K
=
2
2
)
(
e
s
L
P
e
X
£
}
)]
(
)
(
{[
)
(
2
2
X
x
X
H
I
E
i
-
=
s
)
(
2
X
s
2
e
d
e
s
£
2
2
)
(
L
X
d
e
s
2
2
)
(
X
³
L
2
2
)
(
e
s
L
P
e
X
£
K
H
L
)
(
X
=
h
K
0
,
)
(
)
(
>
+
=
e
e
h
X
X
L
L
H
H
1
log
)
(
®
m
L
K
H
L
L
X
ú
û
ù
ê
ë
é
ú
û
ù
ê
ë
é
04
.
0
05
.
0
06
.
0
07
.
0
1
.
0
1
.
0
18
.
0
4
.
0
8
7
6
5
4
3
2
1
a
a
a
a
a
a
a
a
P
X
=
55
.
2
log
)
(
8
1
=
–
=
å
=
i
i
i
p
p
X
H
=
h
K
¸
28
.
0
,
90
.
0
)
(
)
(
=
Þ
=
+
e
e
h
X
H
X
H
=
2
2
8
1
2
2
)
(
82
.
7
)]
(
[
)
(log
)]
(
[
)
(
bit
X
H
p
p
x
I
D
X
i
i
i
i
=
–
=
=
å
=
s
6
10
-
£
d
8
7
6
2
2
2
10
10
8
.
9
10
28
.
0
82
.
7
)
(
»
´
=
´
=
³
–
d
e
s
X
L
()
ii
i
KpaK
=
å
1
log
)
(
log
)
(
+
<
£
m
X
H
K
m
X
H
e
+
<
£
)
(
)
(
X
X
L
L
H
K
H
K
X
H
m
L
K
X
H
L
L
L
)
(
1
log
)
(
1
1
-
=
-
=
-
=
h
g
符号
/
811
.
0
3
4
log
4
3
4
log
4
1
)
(
bit
X
H
=
+
=
ú
ú
û
ù
ê
ê
ë
é
=
ú
û
ù
ê
ë
é
4
1
4
3
2
1
a
a
P
X
811
.
0
)
(
=
=
K
X
H
h
1
,
0
2
1
®
®
a
a
K
32
27
2
2
=
=
K
K
16
27
3
16
1
3
16
3
2
16
3
1
16
9
2
=
´
´
´
´
=
+
+
+
K
961
.
0
27
811
.
0
32
2
=
´
=
h
985
.
0
3
=
h
991
.
0
4
=
h
5
10
-
£
d
2
2
2
1
2
2
)
(
4715
.
0
)]
(
[
)
(log
)
(
bit
X
H
p
p
X
i
i
i
=
-
=
å
=
s
7
5
2
2
2
10
13
.
4
10
04
.
0
)
96
.
0
(
)
811
.
0
(
4715
.
0
´
´
·
³
=
-
L
n
p
p
p
³
³
³
L
2
1
(
)
(
)
1
log
log
2
2
+
-
<
£
i
i
i
p
K
p
-
(
)
å
-
=
=
1
1
i
k
k
i
a
p
P
14
.
3
)
(
7
1
=
=
å
=
i
i
i
K
a
p
K
831
.
0
14
.
3
61
.
2
)
(
=
=
=
K
X
H
R
e
+
<
£
)
(
)
(
D
R
K
D
R
72
.
2
)
(
7
1
=
=
å
=
i
i
i
K
a
p
K
96
.
0
72
.
2
61
.
2
)
(
=
=
=
K
X
H
R
[
]
ú
û
ù
ê
ë
é
=
1
.
0
1
.
0
2
.
0
2
.
0
4
.
0
5
4
3
2
1
a
a
a
a
a
P
X
2
.
2
)
(
7
1
=
=
å
=
i
i
i
K
a
p
K
965
.
0
)
(
=
=
K
X
H
h
(
)
[
]
å
=
-
=
-
=
q
i
i
i
i
l
K
k
a
p
K
k
E
1
2
2
2
)
)(
(
s
36
.
1
2
1
=
l
s
16
.
0
2
2
=
l
s
ú
ú
ù
ê
ê
é
=
)
(
1
log
S
p
L
é
ù
î
í
ì
+
=
=
=
+
=
0
)
(
)
(
)
1
,
(
)
(
)
0
,
(
1
,
0
,
)
(
)
(
)
,
(
P
S
p
S
P
S
P
S
P
S
P
r
P
S
p
S
P
r
S
P
r
î
í
ì
=
+
=
r
r
p
S
A
Sr
A
P
S
A
S
C
Sr
C
)
(
)
(
)
(
)
(
)
(
î
í
ì
=
´
=
=
=
´
+
=
+
=
1
.
0
1
.
0
1
)
(
)
(
0
0
1
0
)
(
)
(
)
(
a
a
p
A
a
A
P
A
C
a
C
j
j
j
j
j
î
í
ì
=
´
=
=
=
´
+
=
+
=
001
.
0
01
.
0
1
.
0
)
(
)
(
01
.
0
1
.
0
1
.
0
0
)
(
)
(
)
(
b
b
p
a
A
ab
A
P
a
A
a
C
ab
C
ï
ï
î
ï
ï
í
ì
=
´
=
=
=
´
+
=
+
=
000001
.
0
001
.
0
001
.
0
)
(
)
(
010111
.
0
111
.
0
001
.
0
01
.
0
)
(
)
(
)
(
d
d
p
ab
A
abd
A
P
ab
A
ab
C
abd
C
ï
ï
î
ï
ï
í
ì
=
´
=
=
=
´
+
=
+
=
0000001
.
0
1
.
0
000001
.
0
)
(
)
(
010111
.
0
0
000001
.
0
010111
.
0
)
(
)
(
)
(
a
a
p
abd
A
abda
A
P
abd
A
abd
C
abda
C